Language Models that Play Chess and Explain Their Moves
能下棋并解释走法的语言模型
🧭 LLM 与专家编码器融合训练
Princeton Language and Intelligence, Princeton University
4B 模型结合沉默专家棋类编码器与迭代 Bellman 式自蒸馏，棋力达 2697 Elo 且可解释走法
📌 工作参考价值（4 点）
- 电商推荐中已有的高精度但不可解释模型（如精排 CTR/CVR、向量召回）可作为 silent expert encoder，用 cross-attention 接入指令微调的小型 LLM，低成本生成推荐解释或决策理由
- 采用“候选决策—结果分析—整合解释—蒸馏回模型”的迭代 self-distillation：让 LLM 分析推荐列表 top 候选的用户后续行为并蒸馏回模型，可同时提升策略质量与解释一致性
- 先做概念级 QA 课程（如“用户为何点击该商品”）再进入完整解释生成，能稳定从专家表示中抽取可读知识，避免直接生成错误解释
- 4B 模型达到 frontier 水平，说明用领域 expert encoder + 小模型蒸馏可大幅降低线上推理成本，适合电商高 QPS 场景